home *** CD-ROM | disk | FTP | other *** search
/ CD Actual 3 / CD ACTUAL 3.iso / linux / system / xwebcomb.000 / xwebcomb / xwebcomber.1.0B / README < prev    next >
Encoding:
Text File  |  1995-05-02  |  3.1 KB  |  72 lines
  1. XWebComber
  2. ==========
  3.  
  4. XWebComber is a search utility for the world-wide web. It is not
  5. designed to be a general purpose search utility of the entire web --
  6. that is better done with the available search engines such as Lycos
  7. (URL http://lycos.cs.cmu.edu). XWebComber is designed to search a
  8. limited tree for a specific item. As an example, the webcomber will not
  9. find every occurence of "Pentium" on the net, but will allow you to
  10. locate the Pentium specific pages on the Intel, Corp. web server.
  11. It is a "personal" web agent and tries to be a good web citizen.
  12.  
  13. Usage:
  14.  
  15. Enter the starting point of the search in the "URL to start search:"
  16. text box. This must be a complete URL.
  17.  
  18. Enter the search items in the "Words to search for:" text box. The
  19. webcomber will match any of the items in the list.
  20.  
  21. Choose a depth for the search.
  22.  
  23. Click on "Search". The webcomber will then begin a breadth-first seach
  24. of the tree rooted at the starting page provided. The depth of the
  25. search will be the number of levels specified, with the root of the tree
  26. being the first level. Once done, the webcomber will present a short
  27. report of all the pages that were matched. The webcomber also will write
  28. an HTML version of the search report, and will update an index to past
  29. searches. These files can be found under the user's homedirectory, in the
  30. webcomber subdirectory. With any web browser you can load the
  31. webcomber-index.html file, which will detail the starting point and a
  32. pointer to a list of matches for past searches, latest search
  33. first. Clicking on the search term in this page gives a second HTML page
  34. with all the search matches, as HTML links. Next to each each link is 
  35. the number of matches found on that page.
  36.  
  37. A list of past starting points is maintained in the webcomber
  38. window. Clicking the left button on a page name selects its URL as the
  39. starting search point. Clicking the right button once a page name is
  40. selected allows one to delete a URL from this list. A dialog box will
  41. ask for confirmation before the URL is deleted. The list of starting
  42. points is maintained in the .history file located in the webcomber
  43. directory.
  44.  
  45.  
  46. Note:
  47. There is some debate on the automated searching of the web. Automated
  48. searchers retrieve pages from servers faster than people do, thus eating
  49. network bandwidth and server resources. 
  50.  
  51. XWebComber tries to be a good network citizen and minimize its impact
  52. on net resources. This is done in several ways. First, XWebcomber only retreives HTML
  53. pages. It does not load any images, nor video, sound, or other binary
  54. data.
  55.  
  56. Second, for a given search XWebcomber will not load the same web page
  57. more than once. Circular references are no problem.
  58.  
  59. Third, XWebcomber limits the depth of the search. The program will only
  60. look a limited number of links away from the starting URL.
  61.  
  62. And Fourth, XWebcomber passes the User-Agent and From fields to the
  63. webservers. If any web site is burdened by XWebcomber, they can restrict
  64. its access.
  65.  
  66. XWebComber was written by Aaron Michael Cohen (aaron@aware.com -- stay
  67. tuned for new address). Editorial and philosophic assistance was
  68. provided by Ron Gut (rgut@aware.com).
  69.  
  70.  
  71.  
  72.